Cơ quan tiền thân là Bộ Tổng Tham mưu Quân đội Quốc gia Việt Nam, được thành lập ngày 1 tháng 5 năm 1952, đặt trụ sở tại đường Galliéni (sau là đường Trần Hưng Đạo), Quận 5, Sài Gòn. Tổ chức bộ máy ban đầu phỏng theo cơ cấu tham mưu của Quân đội Pháp, với hầu hết các sĩ quan cao cấp vẫn là sĩ quan Pháp.

Sau khi chính thể Việt Nam Cộng hòa được thành lập, bộ máy của Bộ Tổng tham mưu Quân đội Quốc gia Việt Nam chuyển thành Bộ Tổng Tham mưu Quân đội Việt Nam Cộng hòa với hầu hết nhân sự cũ trước đây. Cơ quan của Bộ Tổng tham mưu cũng chuyển về trụ sở mới ở trại Trần Hưng Đạo (trước là Camp Chanson) nằm trên đường Võ Tánh, gần phi trường Tân Sơn Nhứt, và cố định ở vị trí này cho đến ngày Chính thể Việt Nam Cộng hòa sụp đổ.

Tháng 4 năm 1964, sau khi thực hiện cuộc Chỉnh lý thành công và lên nắm quyền, Trung tướng Nguyễn Khánh trên vai trò Chủ tịch Hội đồng Quân nhân Cách mạng ký sắc lệnh đổi danh xưng Bộ Tổng Tham mưu thành Bộ Tổng Tư lệnh Quân lực Việt Nam Cộng hòa bao gồm Lục quân, Không quân, Hải quân và Địa phương quân & Nghĩa quân. Tuy nhiên, chỉ chưa đầy 1 năm sau, sau khi tướng Khánh bị gạt khỏi Chính quyền, danh xưng Bộ Tổng Tư lệnh lại được đổi thành Bộ Tổng Tham mưu vào tháng 2 năm 1965.

Với cuộc cải tổ Quân lực năm 1965, bộ máy của Bộ Tổng tham mưu đã hoàn thiện để thực sự là cơ quan đầu não chủ đạo đưa ra những kế hoạch để hình thành các tổ chức thuộc các Quân Binh chủng, Nha Sở, các Quân đoàn, Sư đoàn, Lực lượng Địa phương quân và Nghĩa quân.